Prieš keletą mėnesių kalbėjau apie Buvo gerai priimtas ir gaivus, kad galėčiau pasikalbėti, kur mobiliosios programėlės gali gauti naudos iš kalbos modelio naudojimo padidėjimo. Veikia ant įrenginio SLMs programose Po pokalbio aš turėjau keletą dalyvių atsiliepimų iš eilutės "Būtų gerai pamatyti programėlės pavyzdį, naudojant SLM, varomą RAG". Tai yra sąžiningi komentarai. Sunkus dalykas čia yra pagrindinis laikas, kurį reikia sukurti modelį ir parodyti kažką prasmingo kūrėjams per ribotą laiką. Jei ieškote žingsnių, kaip į savo "Android" programėlę įtraukti RAG varomą kalbos modelį, tai yra pranešimas jums! Kas yra RAG? Jei nesate susipažinę su terminu, RAG reiškia Tai metodas kalbų modeliams pasiekti išorinę informaciją, kuri po mokymo nėra jų duomenų rinkinyje.Tai leidžia modeliams žinoti apie naujausią informaciją, kurią jie gali naudoti, kad pateiktų tikslesnius atsakymus į užklausas. Retrieval Augmented Generation Įsivaizduokite, kad turite du kalbų modelius, vienas modelis naudoja RAG, kad gautų išorinę informaciją apie Europos sostines, o kitas tik remiasi savo žiniomis. You are an expert on the geography of Europe. 

Give me the name of 3 capital cities.

Also give me an interesting fact for each of them.
 Rezultatas gali atrodyti kažkas panašaus: Kaip rodo diagrama, labiau tikėtina, kad gausite naudingą atsakymą iš kalbos modelio naudojant RAG, o ne modelį, kuris remiasi savo žiniomis. Tada eikime giliau ir parašykime šiek tiek kodo, kad įgalintumėte savo RAG varomą kalbos modelį savo programoje! Sukurkite savo „Android“ programėlę Tarkime, kad norite sukurti programą, naudojant kalbos modelį, kad galėtumėte žaisti Simon Says žaidimą. norite, kad modelis būtų Simon, ir naudokite RAG, kad galėtumėte pasiekti užduočių duomenų šaltinį, kad galėtumėte nuspręsti, ko paprašyti vartotojo. Paprasčiausias būdas tai padaryti "Android" yra su , įrankių rinkinys, padėsiantis jūsų programai naudoti AI ir mašininio mokymosi metodus. : Medijos build.gradle dependencies {
  implementation("com.google.mediapipe:tasks-genai:0.10.27")
  implementation("com.google.ai.edge.localagents:localagents-rag:0.3.0")
}
 Tada turite pridėti kalbos modelį į savo bandymo įrenginį per savo kompiuterį.Šiam pavyzdžiui naudosime „Google“ , lengvas kalbos modelis, kuriame yra 1 milijardas informacijos parametrų. Žemaitija3-1B 
 
 Prieš atsisiunčiant modelį, jums gali tekti prisijungti prie „Kaggle“ ir sutikti su „Google“ AI sąlygomis. Side Note: Before downloading the model, you may have to sign upto Kaggle and agree to Google’s AI Terms and Conditions. Kai modelis yra atsisiųstas, atėjo laikas pridėti modelį į savo įrenginį. $ adb shell mkdir -p /data/local/tmp/slm/ # Create a folder to store the model
$ adb push output_path /data/local/tmp/slm/gemma3-1B-it-int4.task # Copy the model over to the file
 Alternatyviai galite naudoti naudodami „Android Studio“, kad patys sukurtumėte aplankus ir vilkite modelį į savo įrenginį. Failų Explorer Pridėjus modelį, galite toliau kurti RAG vamzdyną, kad suteiktumėte Gemma informaciją. Įterpimų kūrimas Informacijos kalbos modeliai, kuriais remiamasi, kad atliktumėte RAG, nėra ta pati informacija, kurią į ją perduodate. . Embeddings Tai yra matematinės eilutės, kurios atstovauja semantinę teksto reikšmę. Kai modelis gauna užklausą, jis ją naudoja ieškodamas aktualiausios informacijos, atitinkančios jį, ir naudoja ją kartu su savo informacija, kad pateiktų atsakymą. . Embedder Įterpimai yra visa tema savaime; Jūs esate skatinami skaityti apie juos. Šiame įraše jums tereikia žinoti, kaip juos sukurti. . Gecko įkūrėjas Pirmiausia atsisiųskite Tokenizatorius ir įdiekite modelio failus į savo kompiuterį, tada paspauskite juos į savo įrenginį: sentencepiece.model Gecko_256_f32.tflite $ adb push sentencepiece.model /data/local/tmp/slm/sentencepiece.model # Push the tokenizer to the device
$ adb push Gecko_256_f32.tflite /data/local/tmp/slm/Gecko_256_f32.tflite # Push the embedder model to the device
 Kai įterpėjas yra įdiegtas jūsų įrenginyje, atėjo laikas pateikti pavyzdinį failą, kad būtų galima sukurti įterpimus iš. „Android Studio“, jūsų programos modulyje failą, sukurkite failą, pavadintą Tada į failą įveskite šį tekstą: assets simon_says_responses.txt <chunk_splitter>
Go for a walk
<chunk_splitter>
Jump and down 10 times
<chunk_splitter>
Sing your favourite song!
<chunk_splitter>
Text your best friend a funny meme
<chunk_splitter>
Do 10 press ups!
<chunk_splitter>
 Faile yra keletas skirtingų atsakymų, kuriuos galima duoti Simon Says žaidime, kiekvienas suskirstytas į vieną. Tai suteikia įterpėjui signalą, kad žinotų, kaip atskirti kiekvieną atsakymą, kai tekstas suskaidomas į įterpimus. <chunk_splitter> Šis procesas vadinamas ir gali turėti didelį poveikį, kaip gerai RAG veikia per kalbos modelį. Eksperimentavimas su skirtingo dydžio gabaliukais ir atsakymais yra skatinamas rasti tinkamą derinį jūsų poreikiams! chunking Vienas dalykas, kurį reikia apsvarstyti, yra programų saugojimas. Atminkite, kad jau įdiegėte kalbos modelį ir įterpiklį į savo įrenginį. Tai užima gigabaitų vietos, todėl įsitikinkite, kad toliau neuždengsite įrenginio, naudodami pernelyg didelį teksto failą! Norite apsvarstyti galimybę saugoti pavyzdinį failą debesyje ir atsisiųsti jį per tinklą, kad sumažintumėte saugojimo problemas. Su teksto failu vietoje, atėjo laikas inicijuoti įterpėją: private const val GeckoEmbedderPath = "/data/local/tmp/slm/gecko_256_f32.tflite"
private const val TokenizerModelPath = "/data/local/tmp/slm/sentencepiece.model"
private const val UseGpuForEmbeddings = true

val embedder: Embedder<String> = GeckoEmbeddingModel(
    GeckoEmbedderPath,
    TokenizerModelPath,
    UseGpuForEmbeddings,
  )
 Įterpėjas turi tris parametrus: įterpėjo kelią ir prietaiso žymeklį, o galutinis parametras nustato, ar įterpėjas gali naudoti prietaiso GPU kuriant įterpimus. Norėdami tai padaryti, paspartinsite įterpimų kūrimą, jei yra GPU. Prieš priimdami sprendimą įgalinti šią vertę, būtinai patikrinkite įrenginio galimybes. Tada sukurkite kalbos modelio pavyzdį: private const val GemmaModelPath = "/data/local/tmp/slm/gemma3-1B-it-int4.task"

val llmInferenceOptions = LlmInferenceOptions.builder()
            .setModelPath(GemmaModelPath)
            .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device.
            .setMaxTokens(1200)
            .build()

val llmInferenceSessionOptions = LlmInferenceSessionOptions.builder()
            .setTemperature(0.6f)
            .setTopK(5000)
            .setTopP(1f)
            .build()

val languageModel = MediaPipeLlmBackend(
            context, // This is the application context
            languageModelOptions,
            languageModelSessionOptions)

    languageModel.initialize().get()
 Yra daug parametrų, susijusių su aukščiau; šiuo metu nesijaudinkite, mes grįšime prie jų vėliau. Su sukurtu kalbos modeliu galite sutelkti dėmesį atgal į įterpimus. Modeliui reikia vietos, kur įterpimus galima gauti kiekvieną kartą, kai jis gauna užklausą. MediaPipe suteikia SQLite , kuris yra įprastas įrankių saugojimo įrankis. Sukurkime vieną: Vector Store private const val PromptTemplate: String = """
    You are Simon in a game of Simon Says.
    
    Your task is to ask the player to perform a task from the following list: {0}.
    
    Your response must only contain the task that the player must do.
    
    Your response must be based on the players request: {1}. 
    
    Do not ask the player to do the same thing twice.
    
    You must not ask the player to do anything that is dangerous, unethical or unlawful.
"""

val chainConfig = ChainConfig.create(
    languageModel, PromptBuilder(PromptTemplate),
    DefaultSemanticTextMemory(
    SqliteVectorStore(768), embedder
    )
)
 Čia viskas pradeda susieti tarpusavyje, nes kalbos modelis ir įterpėjas perduodami ChainConfig. yra kiekvieno „vektoriaus“ dydis, kurį duomenų bazė gali saugoti. Jis yra naudojamas siekiant suteikti skambutį, kad padėtų vairuoti RAG procesą. 786 PromptBuilder Galiausiai įkelkime tekstinį failą, kurį sukūrėme anksčiau turto aplanke į įterpiklį.Pirmiausia įkelkite failą iš įrenginio ir suskaidykite tekstą į eilutės sąrašą: // This is an extension function to read the file from disk.
val gameResponses: List<String> = context.getTextFromFile("simon_says_responses.txt")
 Tada įkelkite atsakymus į anksčiau sukurtą chainConfig. chainConfig.semanticMemory.getOrNull()
    ?.recordBatchedMemoryItems(ImmutableList.copyOf(gameResponses))
    ?.get()
 Priklausomai nuo jūsų įrenginio ir teksto failo dydžio, tai gali užtrukti nuo kelių sekundžių iki kelių minučių. Geras nykščio taisyklė yra užkirsti kelią kalbos modelio naudojimui, o tai atsitinka. Tai padarę, jūs ką tik konvertuojate savo tekstinį failą į įterpimų rinkinį, laikomą vektoriaus parduotuvėje.Jūs taip pat susiedate savo kalbos modelį su parduotuvė, kad ji dabar galėtų gauti informaciją! Kitame skyriuje bus parodyta, kaip naudoti tuos įterpimus, perduodant kalbos modelį. Pateikite savo RAG varomą modelį Kai dauguma sudėtingų nustatymų yra užbaigti, perspėjimas į kalbos modelį yra stebėtinai lengvas. Naudokite grandinės konfig ir kreipkitės į jį. RetrievalAndInferenceChain val retrievalAndInferenceChain = RetrievalAndInferenceChain(chainConfig)
 Tada sukurkite užklausą ir perkelkite ją į grandinę. val prompt = "Tell me something to do Simon involving jumping!"

val retrievalRequest =
    RetrievalRequest.create(
        prompt,
        RetrievalConfig.create(
            50, // topK
            0.1f, // minSimilarityScore
            RetrievalConfig.TaskType.RETRIEVAL_QUERY
        )
    )

val response = retrievalAndInferenceChain!!.invoke(retrievalRequest).get().text
 Apdorojimo metu jis kreipsis į įterpimus jūsų vektoriaus parduotuvėje, kad pateiktų tai, ką jis mano, kad yra tiksliausias atsakymas. Kaip ir tikėtumėte, tai, ką paprašysite modelio, sukels skirtingus atsakymus.Kadangi įterpimuose yra daugybė Simon sako atsakymų, tikėtina, kad gausite gerą atsakymą! Ką apie atvejus, kai gaunate netikėtą rezultatą? Šiuo metu turite grįžti ir subtiliai sureguliuoti savo objektų parametrus iš ankstesnio skirsnio. Padarykime tai kitame skyriuje. Fine-Tuning savo RAG Powered kalbos modelį Jei per metus iš „Generative AI“ išmokome vieną dalyką, tai tai, kad tai nėra tikslus mokslas. Jūs neabejotinai matėte istorijas, kuriose kalbų modeliai „netinkamai elgėsi“ ir sukūrė mažiau nei pageidaujamą rezultatą, sukeldami gėdos ir reputacijos žalą įmonėms. Tai yra rezultatas, kad nėra pakankamai bandymų atliekami siekiant užtikrinti, kad atsakymai iš modelio yra tikimasi.Testavimas ne tik padeda išvengti nepatogumų, ji taip pat gali padėti eksperimentuoti su savo kalbos modelio išvestį, kad jis dirba dar geriau! Pažiūrėkime, kokius svertus galime pritaikyti, kad subalansuotume mūsų RAG varomą kalbos modelį. : LLmInferenceOptions.Builder LlmInferenceOptions.builder()
    .setModelPath(GemmaModelPath)
    .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device.
    .setMaxTokens(1200)
    .build()
 Pirmasis parametras, kurį galima pakeisti, yra parametras. Tai yra „įvesties“ arba „išvesties“ kiekis, kurį kalbos modelis gali tvarkyti. Kuo didesnė vertė, tuo daugiau duomenų kalbos modelis gali tvarkyti vienu metu. setMaxTokens() Mūsų pavyzdyje tai reiškia, kad modelis gali tvarkyti teksto įvestį ir generuoti išvestį, kurią sudaro 1200 žetonų. Už mažesnę vertę. MaxTokens Būkite atsargūs su šia verte, nes galite pastebėti, kad jūsų modelis netikėtai tvarko daugiau žetonų, nei tikisi. Perkelkime į : LlmInferenceSessionOptions.Builder() llmInferenceSessionOptions = LlmInferenceSessionOptions.builder()
    .setTemperature(0.6f)
    .setTopK(5000)
    .setTopP(1f)
    .build()
 Čia galite nustatyti keletą skirtingų parametrų. , ir Paimkime juos į kiekvieną iš jų. .setTemperature() .setTopK() .setTopP() Galima galvoti apie tai, kaip „atsitiktinai“ gali būti atsakymai iš kalbos modelio. Kuo mažesnė vertė, tuo „nuspėjamesni“ gali būti atsakymai iš modelio. Kuo didesnė vertė, tuo „kūrybiškesni“ bus atsakymai, dėl kurių atsiras daugiau netikėtų atsakymų. .setTemperature() Šiame pavyzdyje jis yra nustatytas , o tai reiškia, kad modelis suteiks pusiau kūrybinius, bet ne neįsivaizduojamus atsakymus. 0.6 Temperatūra yra gera vertė eksperimentuoti, nes galite rasti skirtingas vertes suteikti geresnius atsakymus priklausomai nuo jūsų naudojimo atveju. yra būdas pasakyti „tik apsvarstykite geriausius K rezultatus, kad grįžtumėte į vartotoją.“ Kalbų modeliai, apdorodami perspėjimą, sukuria daugybę atsakymų, galbūt tūkstančius! .setTopK() Kiekvienam iš šių atsakymų suteikiama tikimybė, kiek tikėtina, kad jie bus teisingi. vertė gali būti nustatyta siekiant padėti modeliui sutelkti dėmesį.Jei esate patenkinti, kad svarstomi mažiau tikėtini atsakymai, norėtumėte šią vertę nustatyti aukštai. topK Jūs galite rasti modelis veikia geriau su mažiau ar daugiau atsakymų apsvarstyti, priklausomai nuo jūsų poreikius. "Simon Says" žaidime norime, kad modelis galvotų apie daug skirtingų atsakymų, kad žaidimas būtų šviežias. Atrodo gera vertė. 5000 Sukurta pagal nustatytą ribą Kaip minėta anksčiau, kalbos modeliai priskiria tikimybę kiekvienam atsakymui, kurį jis sukuria, kiek tikėtina, kad jis gali būti. Tai reiškia, kad modelis gali lengvai atmesti bet kokius atsakymus, kurie neturi minimalios reikiamos tikimybės. .setTopP() topK topP Pavyzdžiui, jei modelis turėjo Įdėti 2 Jis svarstė šiuos atsakymus: topP 0.4 Simons Says clap 5 times! = 0.7 // This response has a probablility of 0.7 of being correct

Simons Says jump up and down! = 0.5

Find a car and drive it. = 0.3
 Pirmieji du atsakymai bus svarstomi, nes tikimybė yra didesnė nei Atsakymas apie automobilį būtų atmestas, nes jis tikriausiai . 0.4 0.3 Panašus į ir , Jei norite apsvarstyti mažiau tikėtinus atsakymus į kvietimus, padės nustatyti mažą P vertę. temperature topK topP Pavyzdžiui, mes nustatome, kad Taip yra todėl, kad mes norime, kad modelis būtų visiškai tikras dėl savo atsakymų. 1.0 Eksperimentuodami su šiomis vertėmis gausite labai skirtingus rezultatus, palyginti su jūsų kalbos modeliais. Kur eiti toliau? Tikiuosi, kad jums patiko šis žingsnis, kaip į savo "Android" programėlę įtraukti RAG varomą kalbos modelį! Jei norite sužinoti daugiau apie RAG ir "Android", čia yra keletas nuorodų, kurias rekomenduoju: 
 
 
 
 
 
  Clone and run the   for this blog post to see it in action. It shows how to setup the RAG pipeline with Gemma using Android architecture best practices. Simons Says App: sample code 
 
 : Check out the RAG section on the MediaPipe   - Highly recommended reading. MediaPipe RAG Google Developer docs 
 
 : Learn more about how setting the Temperature, TopK, and TopP values can   the results from language models. Another highly recommended article. Setting Temperature, TopK, and TopP in LLMs help control

This story contains new, firsthand information uncovered by the writer.

Buy Me a Coffee

Read My Stories

Hire Me

Software Engineer

Šis garso įrašas sukurtas originalia istorijos kalba!

Kaip paleisti RAG valdomą kalbos modelį "Android" su "MediaPipe" pagalba

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps